Von Hause aus Volksschullehrer, arbeitete Brockmann von 1933 in mehreren katholischen und kommunalen Verbänden. Nach der Entlassung aus dem Schuldienst durch die Nationalsozialisten beschäftigte in die Katholische Kirche als Lehrer an einer ihrer Privatschulen. Nach 1945 wurde Brockmann in den Staatsdienst zurückgeholt, um zuerst Schulrat in dem Landkreis Münster und dann Generalreferent Kultus der westfälischen Provinzialregierung zu werden.

Johannes Brockmann gehörte von 1925 bis 1933 dem Preußischen Landtag für die Zentrumspartei an. Nach dem20.07 1944 war er wegen seiner Kontakte zu katholischen Widerständlern längere Zeit in Haft. 1946 in den Landtag von Nordrhein-Westfalen gewählt, wurde er dort Fraktionsvorsitzender der Zentrumspartei. 1948/49 gehörte er dem Parlamentarischen Rat an und war auch Bundesvorsitzender des Zentrums. 1953 wurde Brockmann für eine Wahlperiode in den Deutschen Bundestag gewählt. Nach dem Austritt von Helene Wessel war er zuerst geschäftsführender, ab dem 9. März 1953 gewählter, Bundesvorsitzender der Zentrumspartei. 1969 wurde er aus Altersgründen von Gerhard Ribbeheger abgelöst.